Sequential Modality Dropout for Robust Multi-Modal Sequential Recommendation
多模态序列推荐的顺序模态丢弃鲁棒性方法
🧭 多模态序列推荐鲁棒性
Stevens Institute of Technology
训练时整段历史独立擦除单模态，让多模态序列推荐在模态缺失时保持 HR@10 精度
📌 工作参考价值（4 点）
- 电商多模态序列模型（如商品图+标题描述）常遇到无图/无文本；可直接将 SMD 作为训练时模态 dropout：对每个 batch，以概率 p 对某模态在整条用户序列上置 0/掩码，让模型不依赖单一模态，实现仅需数行。
- 线上部署前用 retention 指标评估模态缺失下 HR@10 的保留比例，而非只看全模态准确率；设定服务等级，例如文本缺失时至少保留 90% 才允许上线。
- 若主模型为简单加和融合（additive backbone），可额外加 cross-modal reconstruction loss，把极端缺失下的 retention 从 90% 提升到 98%；对于复杂交互融合模型也可尝试但需验证。
- 生产数据中物品缺失比例高（如 Beauty 类文本缺失 48%），应模拟训练时高缺失率（p=0.9+）以贴近真实；SMD 在 95% per-item missing 下仍保留 61% HR@10，而未做仅 22%。